—— 青亭网
其他
微软新XR研究成果（二）：除了注视点渲染，眼球追踪还能做什么
Esther｜ 编辑
近年来，将VR与眼球追踪技术结合逐渐成为一种趋势，眼球追踪技术不仅可以作为VR的一种交互/输入方式，也可以与注视点渲染相结合，从而降低头显的功耗，提高渲染效率。或者，眼球追踪也可以用于优化自适应游戏AI、游戏新玩法、预测用户行为等。
除此之外眼球追踪还有其他用途吗？近期，在微软向ACM用户界面软件与技术研讨会提交的三篇论文中，就曾有一篇展示了眼球追踪在多种场景中偷换余光画面的能力，为该技术指明了新的应用方向。（上一篇参考：《不用透视功能，戴VR头显上街是什么感受》）
7种应用场景
据了解，微软在论文中指出了一种名为Mise-Unseen（向法语Mise en scène致敬，指的是场面调度，戏剧或电影制作的一种表现手法）的系统，主要用来改变你眼前的VR场景，比如利用注意力转移，将你在远处看到的物品悄悄转移到跟前，或者根据你的喜好来改变场景中的布局等等。
在电影中，场面调度指的是导演通过引导观众注意力的方式，让他们看不到场景中的镜头或照明装置，或者在观众视场角外改变场景。而在VR中，用户的视角由自己控制，是不可控的。而且随着VR头显视场角逐渐增大，可隐藏场景变化的区域就会更小，因此场景的改变只能在用户余光视觉悄悄进行。（视网膜中央凹视场角为5°，中央视场角约为30°）
微软研究院高级研究员Mar Gonzalez Franco表示：Mise-Unseen的概念来源于注视点与注意力之间的联系，因为通常你看哪里，你的注意力就在哪，同时也不会注意到其他地方。
因此，Mise-Unseen系统利用眼球追踪来识别用户的注视点，并结合显着度/视觉干扰等掩码技术，然后通过感知模型来建议场景中作出何种改变不会引起用户注意。比如，在虚拟画廊场景中，Mise-Unseen会通过注视点来分析你的喜好，并改变你余光部分其他油画的风格。
除此之外，Mise-Unseen甚至可以用来强化用户在VR中测试的准确性。比如说，在VR游戏中，你需要解开一个谜题来计算出密码，当然通常你可以通过不断试错来蒙对答案，甚至都不需要看谜题是什么。而加上Mise-Unseen技术后，如果你从来没有仔细看题，那么即使你蒙对了答案，谜题也会趁你不注意的时候悄悄实时改变，让你不得不根据题目来计算出答案。
当然Mise-Unseen也可以用于实现被动体感反馈、自适应难度，甚至优化过场动画来降低晕动症，以及降低优化成本、优化渲染效率等。
关于原理
不同应用对应不同模型
为了进一步演示Mise-Unseen的作用，科研人员开发了多种不同的应用，我们过一会详细讲解。这些应用会对场景进行多种不同的改变，而改变产生的时间则由Mise-Unseen系统来决定。
那么Mise-Unseen具体是怎样决策的呢？Mise-Unseen利用眼球追踪，将用户的注意力、意图/空间记忆等感知理论的不同领域制作成5个注意力模型，并通过这些模型来确定画面修改掩码的决策和时间，以此来减少用户预期、察觉或回想起来的情况。
它会根据注意力模型计算出应用中的变化引起用户注意的可能性。比如，Mise-Unseen会计算出每个应用中，每一帧中每个注意力模型的值，其中最高值作为被发现的可能性，当可能性低于预定阈值时，Mise-Unseen才会将变化注入场景中。
1）防止用户发现
那又是如何避免用户发现到改变呢？Mise-Unseen利用了4个模型搭配视觉掩码，其中第一个模型（测量当前注意力）基于一个简单的原理，即：注视点意外的虚拟目标不容易被察觉，然后再加上视觉干扰等掩码技术，进一步降低穿帮的可能性。不过当用户已经忙于另一件事的时候，也可以省去干扰。
而第二个和第三个模型分别通过瞳孔测量法和眼跳来测量认知负荷，这是实现非注意盲视（一种心理现象，指的是对于你不注意的事情，即使近在眼前也看不到）的一个必要条件。
第四个模型测量潜在的注意力，负责处理当人眼没有看某样东西却注意到改变的情况，这时候如果注视点即将靠近，可能会根据所剩时间选择终止或加速改变。
最终，科研人员实现场景改变的方式有四种：一种是在用户注视点以外悄悄变化；第二种是用更突出的干扰物去吸引用户注意力；第三种是通过渐进淡出和低对比度等视觉技术降低视觉信号强度；第四种是为用户提供干扰性任务，通过增加注意力负载来避免他们注意到周围的改变。
同时，用于干扰的掩码技术也可以替代注意力模型二或三。另外你可能会说，其实不需要注视点信息也能吸引用户注意力，但Mise-Unseen的作用是能够通过注视点信息来验证用户没有注意到改变，这样即使是更自然、更休闲的干扰动作也可以达到效果，而且更容易集成，甚至可能在场景中就已经存在。
2）避免用户回忆起
为了避免用户事后依靠回忆识别出场景改变，Mise-Unseen采用了第五个模型搭配场景建议的方式。据悉，第五个模型通过测量停留时间来计算空间记忆，旨在防止用户通过视觉记忆在事后对比时发现改变。
为了看起来更直观，科研人员使用了加权定向图来代表用户的空间记忆，其中包含的信息包括相关目标之间的空间和角距离。
而Mise-Unseen避免用户回忆起的具体方法是，通过为与改变无关的目标推荐新的定位和旋转。比如，无关目标与得到改变的目标一起移动，从而降低前后差异，以及对空间记忆的破坏，进而降低用户察觉的可能性。
3）避免用户预料到
为了避免用户预料到本该不易察觉的改变，Mise-Unseen会采用随机的形式触发变化，或者通过眼球追踪推断出用户对场景的理解和意图，进而在用户行动之前就做出改变。
那么用户意图又是如何推断的呢？Mise-Unseen会通过测量注视点在目标上的停留时间并设定阈值，而且除了推断意图外，也可以通过将用户呈现的注视点规律与预定义的扫视轨迹进行对比，来验证用户对于某项内容的理解。
7种应用场景
据了解，微软这篇论文的主要目标是展示在用户眼前、注视点外围做改变而不被发现是可行的，并且列举了7种可应用的不同场景，包括：
识别用户选项，在缺少实体道具时，实现被动体感； 在空间有限时维护持续的移动； 降低在VR中移动产生的晕动症； 隐藏根据用户而改变的自适应任务难度； 自适应用户偏好； 在情节进展中验证用户是否理解； 控制低保真特效出现时间。
验证实验
为了验证Mise-Unseen系统的效果，微软科研人员找来15个人进行体验，其中有12人曾体验过VR，5人曾体验过眼球追踪，还有8人曾观看过魔术。此外，实验中使用的设备包括:HTC Vive Pro头显、基站、追踪器以及PupilLabs的眼球追踪模块（刷新率200Hz，延时4.5ms）。
实验结果发现，注视点数据确实有助于掩盖视场角内画面的改变，当画面涉及任务和移动的干扰时，识别率（正确识别画面改变的比例）会大幅降低，总之将注视点数据与越复杂的掩码技术结合，变化越难以识别。
另外，还调查了参与者对于每个应用的趣味性（按照利开特式量表从1到7打分）的看法，认为其中拼图、谜题破译、画廊、铁匠铺和城市飞行比较有趣。
总之，Mise-Unseen启发了眼球追踪的更多场景。当然除了眼球追踪，Mise-Unseen也可以结合其他数据来分析用户注意力，比如视频处理过程中提供的显著图、脑机接口信号（EEG等）等。也可以增强视觉掩码技术，比如在技术层面上，可通过诱导用户眨眼来触发不易察觉的快速变化。
（END）
推荐阅读
—— 青亭网